Dilahirkan pada 1951 di Leningrad (kini Saint Petersburg), Patrushev merupakan anak kepada seorang pegawai Tentera Laut Soviet yang juga ahli Parti Komunis Kesatuan Soviet.[4] Beliau lulus dari Institut Pembinaan Leningrad [ru] pada 1974, dan pada mulanya beliau bekerja sebagai seorang jurutera di biro reka bentuk pembinaan pangunan institut berkenaan, tetapi tidak lama kemudian, pada 1975, beliau telah direkrut oleh KGB.[5]

Beliau menghadiri kursus perisikan dan keselamatan di Sekolah KGB di Minsk, dan kemudian di Sekolah Tinggi KGB di Moscow (Akademi FSB pada masa kini).[4] Selepas itu, beliau menjadi pegawai keselamatan KGB di bandar Leningrad, dan akhirnya menjadi ketua unit anti-penyeludupan dan anti-rasuah KGB tempatan.